Fue el undécimo de 14 hijos de Georg Reutter y recibió su primer entrenamiento musical de su padre, ayudándolo como organista de la corte. Luego vino un periodo de instrucción más formal con Antonio Caldara. Su aprendizaje con Caldara lo llevó a la composición de un oratorio en 1726 y, en 1727, su primera ópera para la corte imperial, "Archidamia". Según Wyn Jones, en su juventud fue "el único músico más influyente en Viena"

En tres ocasiones diferentes durante este periodo, Reutter solicitó una posición como organista de la corte y fue cada vez rechazado por Johann Joseph Fux. A su propio costo viajó a Italia en 1729 o 1730; en febrero de 1730 estaba en Venecia y en abril de 1730 en Roma. Volvió a Viena en el otoño de 1730, y a comienzos del año siguiente solicitó un puesto con éxito como compositor de la corte, el principio formal de una vida de servicio en la corte de Habsburgo. Después de la muerte de su padre se hizo Kapellmeister de la catedral de San Esteban en 1738.

La posición de Kapellmeister había existido desde el siglo XV y Reutter fue el 27º en ocupar el puesto. El trabajo le proporcionó espacio para vivir directamente adyacente a la Catedral, la Kapellhaus (demolida en 1803), que también dio alojamiento a la familia de Reutter y al coro de niños. Reutter dirigía a un personal de 31 músicos, que incluía 5 niños coristas sopranos, 12 adultos cantantes masculinos, 12 instrumentistas de cuerdas, un organista y un sub cantor que era su ayudante. Cuando se necesitaban trompetas, timbales o trombones, se reclutaban a través de un anuncio y a menudo los pedía prestados del establecimiento musical de la corte Imperial (Hofkapelle). Gran parte del repertorio era del propio Reutter; otros compositores especialmente representados eran Bonno, Tuma y Fux.

En 1739, mientras visitaba el pueblo de Hainburg, Reutter escuchó al niño de ocho años Joseph Haydn; Haydn se unió a su conjunto el año siguiente, siendo seguido después por su hermano menor Michael. Los dos sirvieron hasta que fueran adolescentes y habían perdido sus voces de soprano. Se asumía naturalmente que los jóvenes llegarían a ser músicos profesionales en su edad adulta y eran adiestrados de acuerdo a esto. Los niños del coro también recibían una educación ordinaria básica, incluyendo lectura, escritura, aritmética, y algo de latín. 

Reutter avanzó después al puesto de Kapellmeister de la corte, y la Emperatriz María Theresia le encomendó la dirección de la orquesta de la corte en 1751.

Se cree que Reutter es el autor de la música del “De profundis”, KV 93, antiguamente atribuido a Wolfgang Amadeus Mozart.